Asynchronous Flow Map Language Models
异步流图语言模型(aFMLMs)
🧭 并行语言模型 · 异步流图
KAIST · Purdue University · The University of Tokyo
将 token 预测顺序通过异步流图编码进单步并行语言模型,实现高质量一步生成
📌 工作参考价值(4 点)
- 延迟敏感场景(如搜索结果摘要、推荐理由、广告文案)可借鉴 aFMLM 将教师迭代生成的顺序知识蒸馏到单步学生模型,保持生成质量的同时把推理从多步降到一步,显著降低 RT。
- 学习 state-adaptive 的 token 时间调度可作为一种隐式排序机制:模型根据上下文决定哪些 token 先“成熟”,适合需要动态优先级生成的推荐解释或对话式推荐。
- 蒸馏流程可复用到生成式推荐中的 Semantic ID 序列生成:用教师模型(AR 或扩散)生成顺序信号,训练单步模型快速输出 item ID 序列,降低线上生成延迟。
- 该方法在 Sudoku 和代码生成等结构化推理任务上有效,提示在需要约束生成的任务(如商品标题、属性组合生成)中,显式建模 token 顺序可能比纯并行生成更优。